Sài Vinh là người Hình Châu, Nghiêu Sơn, Sài Gia Trang (nay là huyện Long Nghiêu, thành phố Hình Đài, tỉnh Hà Bắc, Trung Quốc).

Sài Vinh là con trai Sài Thủ Lễ, anh vợ Quách Uy (tức Hậu Chu Thái Tổ). Quách Uy không có con trai, nhận ông làm con và đổi họ tên ông thành Quách Vinh.

Năm 947, Quách Uy phò Lưu Tri Viễn lập nên nhà Hậu Hán, được phong làm Đại lý khu mật phó sứ, Quách Vinh được phong làm Tả Giám môn vệ tướng quân[1].

Cha nuôi Quách Vinh thành lập nhà Hậu Chu năm 951. Ông được phong Tiết độ sứ Thiền Châu (Bộc Dương, Hà Nam ngày nay), sau phong Thái Nguyên Quận Hầu. Năm 952 ông được phong Tấn Vương. Tháng giêng năm 954, Hậu Chu Thái Tổ giao cho ông cai quản quân đội. Cùng tháng, Quách Uy mất vì bệnh tật, Quách Vinh được kế thừa vương vị và giống như cha mình, Thế Tông được coi là vị Hoàng đế có năng lực.